Hijo del destacado compositor Jean-Féry Rebel, fue un niño prodigio que se convirtió en violinista en la orquesta de la Ópera de París a la edad de 13 años. Como compositor, es más conocido por su estrecha colaboración con François Francœur.

En 1744, él y François Francœur, su colega y amigo de toda la vida, fueron nombrados 'inspecteurs musicaux' (directores musicales) de la Ópera de París, centro del mundo musical francés, haciéndose responsables de todas las fases de su gestión en 1757. Rebel y Francœur enfrentaron numerosos desafíos en sus roles conjuntos, incluido un gran déficit financiero, falta de disciplina, así como el manejo de desacuerdos contenciosos entre los tradicionalistas que favorecían las tragedias operísticas francesas y sus temas mitológicos frente a los partidarios del lirismo más simple de la ópera italiana y el tema contemporáneo, conocido como 'Querelle des Bouffons'.

El rey Luis XV ennobleció a Rebel en 1760 y a Francœur en mayo de 1764. El desastre ocurrió cuando la Ópera de París fue consumida en llamas el 6 de abril de 1763, y los dos directores se vieron obligados a renunciar en 1767 como consecuencia. Sin embargo, Luis XV pidió a Rebel que volviera a la Ópera como 'Administrateur général' en 1772, cargo que ocupó hasta poco antes de su muerte tres años después a los 74 años de edad.